home *** CD-ROM | disk | FTP | other *** search
/ PC World Komputer 2010 April / PCWorld0410.iso / hity wydania / Ubuntu 9.10 PL / karmelkowy-koliberek-desktop-9.10-i386-PL.iso / casper / filesystem.squashfs / usr / share / pyshared / chardet / mbcssm.py < prev    next >
Text File  |  2006-10-21  |  18KB  |  515 lines
  1. ######################## BEGIN LICENSE BLOCK ########################
  2. # The Original Code is mozilla.org code.
  3. #
  4. # The Initial Developer of the Original Code is
  5. # Netscape Communications Corporation.
  6. # Portions created by the Initial Developer are Copyright (C) 1998
  7. # the Initial Developer. All Rights Reserved.
  8. #
  9. # Contributor(s):
  10. #   Mark Pilgrim - port to Python
  11. #
  12. # This library is free software; you can redistribute it and/or
  13. # modify it under the terms of the GNU Lesser General Public
  14. # License as published by the Free Software Foundation; either
  15. # version 2.1 of the License, or (at your option) any later version.
  16. # 
  17. # This library is distributed in the hope that it will be useful,
  18. # but WITHOUT ANY WARRANTY; without even the implied warranty of
  19. # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  20. # Lesser General Public License for more details.
  21. # 
  22. # You should have received a copy of the GNU Lesser General Public
  23. # License along with this library; if not, write to the Free Software
  24. # Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA
  25. # 02110-1301  USA
  26. ######################### END LICENSE BLOCK #########################
  27.  
  28. from constants import eStart, eError, eItsMe
  29.  
  30. # BIG5 
  31.  
  32. BIG5_cls = ( \
  33.     1,1,1,1,1,1,1,1,  # 00 - 07    #allow 0x00 as legal value
  34.     1,1,1,1,1,1,0,0,  # 08 - 0f 
  35.     1,1,1,1,1,1,1,1,  # 10 - 17 
  36.     1,1,1,0,1,1,1,1,  # 18 - 1f 
  37.     1,1,1,1,1,1,1,1,  # 20 - 27 
  38.     1,1,1,1,1,1,1,1,  # 28 - 2f 
  39.     1,1,1,1,1,1,1,1,  # 30 - 37 
  40.     1,1,1,1,1,1,1,1,  # 38 - 3f 
  41.     2,2,2,2,2,2,2,2,  # 40 - 47 
  42.     2,2,2,2,2,2,2,2,  # 48 - 4f 
  43.     2,2,2,2,2,2,2,2,  # 50 - 57 
  44.     2,2,2,2,2,2,2,2,  # 58 - 5f 
  45.     2,2,2,2,2,2,2,2,  # 60 - 67 
  46.     2,2,2,2,2,2,2,2,  # 68 - 6f 
  47.     2,2,2,2,2,2,2,2,  # 70 - 77 
  48.     2,2,2,2,2,2,2,1,  # 78 - 7f 
  49.     4,4,4,4,4,4,4,4,  # 80 - 87 
  50.     4,4,4,4,4,4,4,4,  # 88 - 8f 
  51.     4,4,4,4,4,4,4,4,  # 90 - 97 
  52.     4,4,4,4,4,4,4,4,  # 98 - 9f 
  53.     4,3,3,3,3,3,3,3,  # a0 - a7 
  54.     3,3,3,3,3,3,3,3,  # a8 - af 
  55.     3,3,3,3,3,3,3,3,  # b0 - b7 
  56.     3,3,3,3,3,3,3,3,  # b8 - bf 
  57.     3,3,3,3,3,3,3,3,  # c0 - c7 
  58.     3,3,3,3,3,3,3,3,  # c8 - cf 
  59.     3,3,3,3,3,3,3,3,  # d0 - d7 
  60.     3,3,3,3,3,3,3,3,  # d8 - df 
  61.     3,3,3,3,3,3,3,3,  # e0 - e7 
  62.     3,3,3,3,3,3,3,3,  # e8 - ef 
  63.     3,3,3,3,3,3,3,3,  # f0 - f7 
  64.     3,3,3,3,3,3,3,0)  # f8 - ff 
  65.  
  66. BIG5_st = ( \
  67.     eError,eStart,eStart,     3,eError,eError,eError,eError,#00-07 
  68.     eError,eError,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eError,#08-0f 
  69.     eError,eStart,eStart,eStart,eStart,eStart,eStart,eStart)#10-17 
  70.  
  71. Big5CharLenTable = (0, 1, 1, 2, 0)
  72.  
  73. Big5SMModel = {'classTable': BIG5_cls,
  74.                'classFactor': 5,
  75.                'stateTable': BIG5_st,
  76.                'charLenTable': Big5CharLenTable,
  77.                'name': 'Big5'}
  78.  
  79. # EUC-JP
  80.  
  81. EUCJP_cls = ( \
  82.     4,4,4,4,4,4,4,4,  # 00 - 07 
  83.     4,4,4,4,4,4,5,5,  # 08 - 0f 
  84.     4,4,4,4,4,4,4,4,  # 10 - 17 
  85.     4,4,4,5,4,4,4,4,  # 18 - 1f 
  86.     4,4,4,4,4,4,4,4,  # 20 - 27 
  87.     4,4,4,4,4,4,4,4,  # 28 - 2f 
  88.     4,4,4,4,4,4,4,4,  # 30 - 37 
  89.     4,4,4,4,4,4,4,4,  # 38 - 3f 
  90.     4,4,4,4,4,4,4,4,  # 40 - 47 
  91.     4,4,4,4,4,4,4,4,  # 48 - 4f 
  92.     4,4,4,4,4,4,4,4,  # 50 - 57 
  93.     4,4,4,4,4,4,4,4,  # 58 - 5f 
  94.     4,4,4,4,4,4,4,4,  # 60 - 67 
  95.     4,4,4,4,4,4,4,4,  # 68 - 6f 
  96.     4,4,4,4,4,4,4,4,  # 70 - 77 
  97.     4,4,4,4,4,4,4,4,  # 78 - 7f 
  98.     5,5,5,5,5,5,5,5,  # 80 - 87 
  99.     5,5,5,5,5,5,1,3,  # 88 - 8f 
  100.     5,5,5,5,5,5,5,5,  # 90 - 97 
  101.     5,5,5,5,5,5,5,5,  # 98 - 9f 
  102.     5,2,2,2,2,2,2,2,  # a0 - a7 
  103.     2,2,2,2,2,2,2,2,  # a8 - af 
  104.     2,2,2,2,2,2,2,2,  # b0 - b7 
  105.     2,2,2,2,2,2,2,2,  # b8 - bf 
  106.     2,2,2,2,2,2,2,2,  # c0 - c7 
  107.     2,2,2,2,2,2,2,2,  # c8 - cf 
  108.     2,2,2,2,2,2,2,2,  # d0 - d7 
  109.     2,2,2,2,2,2,2,2,  # d8 - df 
  110.     0,0,0,0,0,0,0,0,  # e0 - e7 
  111.     0,0,0,0,0,0,0,0,  # e8 - ef 
  112.     0,0,0,0,0,0,0,0,  # f0 - f7 
  113.     0,0,0,0,0,0,0,5)  # f8 - ff 
  114.  
  115. EUCJP_st = ( \
  116.           3,     4,     3,     5,eStart,eError,eError,eError,#00-07 
  117.      eError,eError,eError,eError,eItsMe,eItsMe,eItsMe,eItsMe,#08-0f 
  118.      eItsMe,eItsMe,eStart,eError,eStart,eError,eError,eError,#10-17 
  119.      eError,eError,eStart,eError,eError,eError,     3,eError,#18-1f 
  120.           3,eError,eError,eError,eStart,eStart,eStart,eStart)#20-27 
  121.  
  122. EUCJPCharLenTable = (2, 2, 2, 3, 1, 0)
  123.  
  124. EUCJPSMModel = {'classTable': EUCJP_cls,
  125.                 'classFactor': 6,
  126.                 'stateTable': EUCJP_st,
  127.                 'charLenTable': EUCJPCharLenTable,
  128.                 'name': 'EUC-JP'}
  129.  
  130. # EUC-KR
  131.  
  132. EUCKR_cls  = ( \
  133.     1,1,1,1,1,1,1,1,  # 00 - 07 
  134.     1,1,1,1,1,1,0,0,  # 08 - 0f 
  135.     1,1,1,1,1,1,1,1,  # 10 - 17 
  136.     1,1,1,0,1,1,1,1,  # 18 - 1f 
  137.     1,1,1,1,1,1,1,1,  # 20 - 27 
  138.     1,1,1,1,1,1,1,1,  # 28 - 2f 
  139.     1,1,1,1,1,1,1,1,  # 30 - 37 
  140.     1,1,1,1,1,1,1,1,  # 38 - 3f 
  141.     1,1,1,1,1,1,1,1,  # 40 - 47 
  142.     1,1,1,1,1,1,1,1,  # 48 - 4f 
  143.     1,1,1,1,1,1,1,1,  # 50 - 57 
  144.     1,1,1,1,1,1,1,1,  # 58 - 5f 
  145.     1,1,1,1,1,1,1,1,  # 60 - 67 
  146.     1,1,1,1,1,1,1,1,  # 68 - 6f 
  147.     1,1,1,1,1,1,1,1,  # 70 - 77 
  148.     1,1,1,1,1,1,1,1,  # 78 - 7f 
  149.     0,0,0,0,0,0,0,0,  # 80 - 87 
  150.     0,0,0,0,0,0,0,0,  # 88 - 8f 
  151.     0,0,0,0,0,0,0,0,  # 90 - 97 
  152.     0,0,0,0,0,0,0,0,  # 98 - 9f 
  153.     0,2,2,2,2,2,2,2,  # a0 - a7 
  154.     2,2,2,2,2,3,3,3,  # a8 - af 
  155.     2,2,2,2,2,2,2,2,  # b0 - b7 
  156.     2,2,2,2,2,2,2,2,  # b8 - bf 
  157.     2,2,2,2,2,2,2,2,  # c0 - c7 
  158.     2,3,2,2,2,2,2,2,  # c8 - cf 
  159.     2,2,2,2,2,2,2,2,  # d0 - d7 
  160.     2,2,2,2,2,2,2,2,  # d8 - df 
  161.     2,2,2,2,2,2,2,2,  # e0 - e7 
  162.     2,2,2,2,2,2,2,2,  # e8 - ef 
  163.     2,2,2,2,2,2,2,2,  # f0 - f7 
  164.     2,2,2,2,2,2,2,0)  # f8 - ff 
  165.  
  166. EUCKR_st = (
  167.     eError,eStart,     3,eError,eError,eError,eError,eError,#00-07 
  168.     eItsMe,eItsMe,eItsMe,eItsMe,eError,eError,eStart,eStart)#08-0f 
  169.  
  170. EUCKRCharLenTable = (0, 1, 2, 0)
  171.  
  172. EUCKRSMModel = {'classTable': EUCKR_cls,
  173.                 'classFactor': 4,
  174.                 'stateTable': EUCKR_st,
  175.                 'charLenTable': EUCKRCharLenTable,
  176.                 'name': 'EUC-KR'}
  177.  
  178. # EUC-TW
  179.  
  180. EUCTW_cls = ( \
  181.     2,2,2,2,2,2,2,2,  # 00 - 07 
  182.     2,2,2,2,2,2,0,0,  # 08 - 0f 
  183.     2,2,2,2,2,2,2,2,  # 10 - 17 
  184.     2,2,2,0,2,2,2,2,  # 18 - 1f 
  185.     2,2,2,2,2,2,2,2,  # 20 - 27 
  186.     2,2,2,2,2,2,2,2,  # 28 - 2f 
  187.     2,2,2,2,2,2,2,2,  # 30 - 37 
  188.     2,2,2,2,2,2,2,2,  # 38 - 3f 
  189.     2,2,2,2,2,2,2,2,  # 40 - 47 
  190.     2,2,2,2,2,2,2,2,  # 48 - 4f 
  191.     2,2,2,2,2,2,2,2,  # 50 - 57 
  192.     2,2,2,2,2,2,2,2,  # 58 - 5f 
  193.     2,2,2,2,2,2,2,2,  # 60 - 67 
  194.     2,2,2,2,2,2,2,2,  # 68 - 6f 
  195.     2,2,2,2,2,2,2,2,  # 70 - 77 
  196.     2,2,2,2,2,2,2,2,  # 78 - 7f 
  197.     0,0,0,0,0,0,0,0,  # 80 - 87 
  198.     0,0,0,0,0,0,6,0,  # 88 - 8f 
  199.     0,0,0,0,0,0,0,0,  # 90 - 97 
  200.     0,0,0,0,0,0,0,0,  # 98 - 9f 
  201.     0,3,4,4,4,4,4,4,  # a0 - a7 
  202.     5,5,1,1,1,1,1,1,  # a8 - af 
  203.     1,1,1,1,1,1,1,1,  # b0 - b7 
  204.     1,1,1,1,1,1,1,1,  # b8 - bf 
  205.     1,1,3,1,3,3,3,3,  # c0 - c7 
  206.     3,3,3,3,3,3,3,3,  # c8 - cf 
  207.     3,3,3,3,3,3,3,3,  # d0 - d7 
  208.     3,3,3,3,3,3,3,3,  # d8 - df 
  209.     3,3,3,3,3,3,3,3,  # e0 - e7 
  210.     3,3,3,3,3,3,3,3,  # e8 - ef 
  211.     3,3,3,3,3,3,3,3,  # f0 - f7 
  212.     3,3,3,3,3,3,3,0)  # f8 - ff 
  213.  
  214. EUCTW_st = ( \
  215.     eError,eError,eStart,     3,     3,     3,     4,eError,#00-07 
  216.     eError,eError,eError,eError,eError,eError,eItsMe,eItsMe,#08-0f 
  217.     eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eError,eStart,eError,#10-17 
  218.     eStart,eStart,eStart,eError,eError,eError,eError,eError,#18-1f 
  219.          5,eError,eError,eError,eStart,eError,eStart,eStart,#20-27 
  220.     eStart,eError,eStart,eStart,eStart,eStart,eStart,eStart)#28-2f 
  221.  
  222. EUCTWCharLenTable = (0, 0, 1, 2, 2, 2, 3)
  223.  
  224. EUCTWSMModel = {'classTable': EUCTW_cls,
  225.                 'classFactor': 7,
  226.                 'stateTable': EUCTW_st,
  227.                 'charLenTable': EUCTWCharLenTable,
  228.                 'name': 'x-euc-tw'}
  229.  
  230. # GB2312
  231.  
  232. GB2312_cls = ( \
  233.     1,1,1,1,1,1,1,1,  # 00 - 07 
  234.     1,1,1,1,1,1,0,0,  # 08 - 0f 
  235.     1,1,1,1,1,1,1,1,  # 10 - 17 
  236.     1,1,1,0,1,1,1,1,  # 18 - 1f 
  237.     1,1,1,1,1,1,1,1,  # 20 - 27 
  238.     1,1,1,1,1,1,1,1,  # 28 - 2f 
  239.     3,3,3,3,3,3,3,3,  # 30 - 37 
  240.     3,3,1,1,1,1,1,1,  # 38 - 3f 
  241.     2,2,2,2,2,2,2,2,  # 40 - 47 
  242.     2,2,2,2,2,2,2,2,  # 48 - 4f 
  243.     2,2,2,2,2,2,2,2,  # 50 - 57 
  244.     2,2,2,2,2,2,2,2,  # 58 - 5f 
  245.     2,2,2,2,2,2,2,2,  # 60 - 67 
  246.     2,2,2,2,2,2,2,2,  # 68 - 6f 
  247.     2,2,2,2,2,2,2,2,  # 70 - 77 
  248.     2,2,2,2,2,2,2,4,  # 78 - 7f 
  249.     5,6,6,6,6,6,6,6,  # 80 - 87 
  250.     6,6,6,6,6,6,6,6,  # 88 - 8f 
  251.     6,6,6,6,6,6,6,6,  # 90 - 97 
  252.     6,6,6,6,6,6,6,6,  # 98 - 9f 
  253.     6,6,6,6,6,6,6,6,  # a0 - a7 
  254.     6,6,6,6,6,6,6,6,  # a8 - af 
  255.     6,6,6,6,6,6,6,6,  # b0 - b7 
  256.     6,6,6,6,6,6,6,6,  # b8 - bf 
  257.     6,6,6,6,6,6,6,6,  # c0 - c7 
  258.     6,6,6,6,6,6,6,6,  # c8 - cf 
  259.     6,6,6,6,6,6,6,6,  # d0 - d7 
  260.     6,6,6,6,6,6,6,6,  # d8 - df 
  261.     6,6,6,6,6,6,6,6,  # e0 - e7 
  262.     6,6,6,6,6,6,6,6,  # e8 - ef 
  263.     6,6,6,6,6,6,6,6,  # f0 - f7 
  264.     6,6,6,6,6,6,6,0)  # f8 - ff 
  265.  
  266. GB2312_st = ( \
  267.     eError,eStart,eStart,eStart,eStart,eStart,     3,eError,#00-07 
  268.     eError,eError,eError,eError,eError,eError,eItsMe,eItsMe,#08-0f 
  269.     eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eError,eError,eStart,#10-17 
  270.          4,eError,eStart,eStart,eError,eError,eError,eError,#18-1f 
  271.     eError,eError,     5,eError,eError,eError,eItsMe,eError,#20-27 
  272.     eError,eError,eStart,eStart,eStart,eStart,eStart,eStart)#28-2f 
  273.  
  274. # To be accurate, the length of class 6 can be either 2 or 4. 
  275. # But it is not necessary to discriminate between the two since 
  276. # it is used for frequency analysis only, and we are validing 
  277. # each code range there as well. So it is safe to set it to be 
  278. # 2 here. 
  279. GB2312CharLenTable = (0, 1, 1, 1, 1, 1, 2)
  280.  
  281. GB2312SMModel = {'classTable': GB2312_cls,
  282.                   'classFactor': 7,
  283.                   'stateTable': GB2312_st,
  284.                   'charLenTable': GB2312CharLenTable,
  285.                   'name': 'GB2312'}
  286.  
  287. # Shift_JIS
  288.  
  289. SJIS_cls = ( \
  290.     1,1,1,1,1,1,1,1,  # 00 - 07 
  291.     1,1,1,1,1,1,0,0,  # 08 - 0f 
  292.     1,1,1,1,1,1,1,1,  # 10 - 17 
  293.     1,1,1,0,1,1,1,1,  # 18 - 1f 
  294.     1,1,1,1,1,1,1,1,  # 20 - 27 
  295.     1,1,1,1,1,1,1,1,  # 28 - 2f 
  296.     1,1,1,1,1,1,1,1,  # 30 - 37 
  297.     1,1,1,1,1,1,1,1,  # 38 - 3f 
  298.     2,2,2,2,2,2,2,2,  # 40 - 47 
  299.     2,2,2,2,2,2,2,2,  # 48 - 4f 
  300.     2,2,2,2,2,2,2,2,  # 50 - 57 
  301.     2,2,2,2,2,2,2,2,  # 58 - 5f 
  302.     2,2,2,2,2,2,2,2,  # 60 - 67 
  303.     2,2,2,2,2,2,2,2,  # 68 - 6f 
  304.     2,2,2,2,2,2,2,2,  # 70 - 77 
  305.     2,2,2,2,2,2,2,1,  # 78 - 7f 
  306.     3,3,3,3,3,3,3,3,  # 80 - 87 
  307.     3,3,3,3,3,3,3,3,  # 88 - 8f 
  308.     3,3,3,3,3,3,3,3,  # 90 - 97 
  309.     3,3,3,3,3,3,3,3,  # 98 - 9f 
  310.     #0xa0 is illegal in sjis encoding, but some pages does 
  311.     #contain such byte. We need to be more error forgiven.
  312.     2,2,2,2,2,2,2,2,  # a0 - a7     
  313.     2,2,2,2,2,2,2,2,  # a8 - af 
  314.     2,2,2,2,2,2,2,2,  # b0 - b7 
  315.     2,2,2,2,2,2,2,2,  # b8 - bf 
  316.     2,2,2,2,2,2,2,2,  # c0 - c7 
  317.     2,2,2,2,2,2,2,2,  # c8 - cf 
  318.     2,2,2,2,2,2,2,2,  # d0 - d7 
  319.     2,2,2,2,2,2,2,2,  # d8 - df 
  320.     3,3,3,3,3,3,3,3,  # e0 - e7 
  321.     3,3,3,3,3,4,4,4,  # e8 - ef 
  322.     4,4,4,4,4,4,4,4,  # f0 - f7 
  323.     4,4,4,4,4,0,0,0)  # f8 - ff 
  324.  
  325. SJIS_st = ( \
  326.     eError,eStart,eStart,     3,eError,eError,eError,eError,#00-07 
  327.     eError,eError,eError,eError,eItsMe,eItsMe,eItsMe,eItsMe,#08-0f 
  328.     eItsMe,eItsMe,eError,eError,eStart,eStart,eStart,eStart)#10-17 
  329.  
  330. SJISCharLenTable = (0, 1, 1, 2, 0, 0)
  331.  
  332. SJISSMModel = {'classTable': SJIS_cls,
  333.                'classFactor': 6,
  334.                'stateTable': SJIS_st,
  335.                'charLenTable': SJISCharLenTable,
  336.                'name': 'Shift_JIS'}
  337.  
  338. # UCS2-BE
  339.  
  340. UCS2BE_cls = ( \
  341.     0,0,0,0,0,0,0,0,  # 00 - 07 
  342.     0,0,1,0,0,2,0,0,  # 08 - 0f 
  343.     0,0,0,0,0,0,0,0,  # 10 - 17 
  344.     0,0,0,3,0,0,0,0,  # 18 - 1f 
  345.     0,0,0,0,0,0,0,0,  # 20 - 27 
  346.     0,3,3,3,3,3,0,0,  # 28 - 2f 
  347.     0,0,0,0,0,0,0,0,  # 30 - 37 
  348.     0,0,0,0,0,0,0,0,  # 38 - 3f 
  349.     0,0,0,0,0,0,0,0,  # 40 - 47 
  350.     0,0,0,0,0,0,0,0,  # 48 - 4f 
  351.     0,0,0,0,0,0,0,0,  # 50 - 57 
  352.     0,0,0,0,0,0,0,0,  # 58 - 5f 
  353.     0,0,0,0,0,0,0,0,  # 60 - 67 
  354.     0,0,0,0,0,0,0,0,  # 68 - 6f 
  355.     0,0,0,0,0,0,0,0,  # 70 - 77 
  356.     0,0,0,0,0,0,0,0,  # 78 - 7f 
  357.     0,0,0,0,0,0,0,0,  # 80 - 87 
  358.     0,0,0,0,0,0,0,0,  # 88 - 8f 
  359.     0,0,0,0,0,0,0,0,  # 90 - 97 
  360.     0,0,0,0,0,0,0,0,  # 98 - 9f 
  361.     0,0,0,0,0,0,0,0,  # a0 - a7 
  362.     0,0,0,0,0,0,0,0,  # a8 - af 
  363.     0,0,0,0,0,0,0,0,  # b0 - b7 
  364.     0,0,0,0,0,0,0,0,  # b8 - bf 
  365.     0,0,0,0,0,0,0,0,  # c0 - c7 
  366.     0,0,0,0,0,0,0,0,  # c8 - cf 
  367.     0,0,0,0,0,0,0,0,  # d0 - d7 
  368.     0,0,0,0,0,0,0,0,  # d8 - df 
  369.     0,0,0,0,0,0,0,0,  # e0 - e7 
  370.     0,0,0,0,0,0,0,0,  # e8 - ef 
  371.     0,0,0,0,0,0,0,0,  # f0 - f7 
  372.     0,0,0,0,0,0,4,5)  # f8 - ff 
  373.  
  374. UCS2BE_st  = ( \
  375.           5,     7,     7,eError,     4,     3,eError,eError,#00-07 
  376.      eError,eError,eError,eError,eItsMe,eItsMe,eItsMe,eItsMe,#08-0f 
  377.      eItsMe,eItsMe,     6,     6,     6,     6,eError,eError,#10-17 
  378.           6,     6,     6,     6,     6,eItsMe,     6,     6,#18-1f 
  379.           6,     6,     6,     6,     5,     7,     7,eError,#20-27 
  380.           5,     8,     6,     6,eError,     6,     6,     6,#28-2f 
  381.           6,     6,     6,     6,eError,eError,eStart,eStart)#30-37 
  382.  
  383. UCS2BECharLenTable = (2, 2, 2, 0, 2, 2)
  384.  
  385. UCS2BESMModel = {'classTable': UCS2BE_cls,
  386.                  'classFactor': 6,
  387.                  'stateTable': UCS2BE_st,
  388.                  'charLenTable': UCS2BECharLenTable,
  389.                  'name': 'UTF-16BE'}
  390.  
  391. # UCS2-LE
  392.  
  393. UCS2LE_cls = ( \
  394.     0,0,0,0,0,0,0,0,  # 00 - 07 
  395.     0,0,1,0,0,2,0,0,  # 08 - 0f 
  396.     0,0,0,0,0,0,0,0,  # 10 - 17 
  397.     0,0,0,3,0,0,0,0,  # 18 - 1f 
  398.     0,0,0,0,0,0,0,0,  # 20 - 27 
  399.     0,3,3,3,3,3,0,0,  # 28 - 2f 
  400.     0,0,0,0,0,0,0,0,  # 30 - 37 
  401.     0,0,0,0,0,0,0,0,  # 38 - 3f 
  402.     0,0,0,0,0,0,0,0,  # 40 - 47 
  403.     0,0,0,0,0,0,0,0,  # 48 - 4f 
  404.     0,0,0,0,0,0,0,0,  # 50 - 57 
  405.     0,0,0,0,0,0,0,0,  # 58 - 5f 
  406.     0,0,0,0,0,0,0,0,  # 60 - 67 
  407.     0,0,0,0,0,0,0,0,  # 68 - 6f 
  408.     0,0,0,0,0,0,0,0,  # 70 - 77 
  409.     0,0,0,0,0,0,0,0,  # 78 - 7f 
  410.     0,0,0,0,0,0,0,0,  # 80 - 87 
  411.     0,0,0,0,0,0,0,0,  # 88 - 8f 
  412.     0,0,0,0,0,0,0,0,  # 90 - 97 
  413.     0,0,0,0,0,0,0,0,  # 98 - 9f 
  414.     0,0,0,0,0,0,0,0,  # a0 - a7 
  415.     0,0,0,0,0,0,0,0,  # a8 - af 
  416.     0,0,0,0,0,0,0,0,  # b0 - b7 
  417.     0,0,0,0,0,0,0,0,  # b8 - bf 
  418.     0,0,0,0,0,0,0,0,  # c0 - c7 
  419.     0,0,0,0,0,0,0,0,  # c8 - cf 
  420.     0,0,0,0,0,0,0,0,  # d0 - d7 
  421.     0,0,0,0,0,0,0,0,  # d8 - df 
  422.     0,0,0,0,0,0,0,0,  # e0 - e7 
  423.     0,0,0,0,0,0,0,0,  # e8 - ef 
  424.     0,0,0,0,0,0,0,0,  # f0 - f7 
  425.     0,0,0,0,0,0,4,5)  # f8 - ff 
  426.  
  427. UCS2LE_st = ( \
  428.           6,     6,     7,     6,     4,     3,eError,eError,#00-07 
  429.      eError,eError,eError,eError,eItsMe,eItsMe,eItsMe,eItsMe,#08-0f 
  430.      eItsMe,eItsMe,     5,     5,     5,eError,eItsMe,eError,#10-17 
  431.           5,     5,     5,eError,     5,eError,     6,     6,#18-1f 
  432.           7,     6,     8,     8,     5,     5,     5,eError,#20-27 
  433.           5,     5,     5,eError,eError,eError,     5,     5,#28-2f 
  434.           5,     5,     5,eError,     5,eError,eStart,eStart)#30-37 
  435.  
  436. UCS2LECharLenTable = (2, 2, 2, 2, 2, 2)
  437.  
  438. UCS2LESMModel = {'classTable': UCS2LE_cls,
  439.                  'classFactor': 6,
  440.                  'stateTable': UCS2LE_st,
  441.                  'charLenTable': UCS2LECharLenTable,
  442.                  'name': 'UTF-16LE'}
  443.  
  444. # UTF-8
  445.  
  446. UTF8_cls = ( \
  447.     1,1,1,1,1,1,1,1,  # 00 - 07  #allow 0x00 as a legal value
  448.     1,1,1,1,1,1,0,0,  # 08 - 0f 
  449.     1,1,1,1,1,1,1,1,  # 10 - 17 
  450.     1,1,1,0,1,1,1,1,  # 18 - 1f 
  451.     1,1,1,1,1,1,1,1,  # 20 - 27 
  452.     1,1,1,1,1,1,1,1,  # 28 - 2f 
  453.     1,1,1,1,1,1,1,1,  # 30 - 37 
  454.     1,1,1,1,1,1,1,1,  # 38 - 3f 
  455.     1,1,1,1,1,1,1,1,  # 40 - 47 
  456.     1,1,1,1,1,1,1,1,  # 48 - 4f 
  457.     1,1,1,1,1,1,1,1,  # 50 - 57 
  458.     1,1,1,1,1,1,1,1,  # 58 - 5f 
  459.     1,1,1,1,1,1,1,1,  # 60 - 67 
  460.     1,1,1,1,1,1,1,1,  # 68 - 6f 
  461.     1,1,1,1,1,1,1,1,  # 70 - 77 
  462.     1,1,1,1,1,1,1,1,  # 78 - 7f 
  463.     2,2,2,2,3,3,3,3,  # 80 - 87 
  464.     4,4,4,4,4,4,4,4,  # 88 - 8f 
  465.     4,4,4,4,4,4,4,4,  # 90 - 97 
  466.     4,4,4,4,4,4,4,4,  # 98 - 9f 
  467.     5,5,5,5,5,5,5,5,  # a0 - a7 
  468.     5,5,5,5,5,5,5,5,  # a8 - af 
  469.     5,5,5,5,5,5,5,5,  # b0 - b7 
  470.     5,5,5,5,5,5,5,5,  # b8 - bf 
  471.     0,0,6,6,6,6,6,6,  # c0 - c7 
  472.     6,6,6,6,6,6,6,6,  # c8 - cf 
  473.     6,6,6,6,6,6,6,6,  # d0 - d7 
  474.     6,6,6,6,6,6,6,6,  # d8 - df 
  475.     7,8,8,8,8,8,8,8,  # e0 - e7 
  476.     8,8,8,8,8,9,8,8,  # e8 - ef 
  477.     10,11,11,11,11,11,11,11,  # f0 - f7 
  478.     12,13,13,13,14,15,0,0)   # f8 - ff 
  479.  
  480. UTF8_st = ( \
  481.     eError,eStart,eError,eError,eError,eError,     12,   10,#00-07 
  482.          9,     11,     8,     7,     6,     5,     4,    3,#08-0f 
  483.     eError,eError,eError,eError,eError,eError,eError,eError,#10-17 
  484.     eError,eError,eError,eError,eError,eError,eError,eError,#18-1f 
  485.     eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,#20-27 
  486.     eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,#28-2f 
  487.     eError,eError,     5,     5,     5,     5,eError,eError,#30-37 
  488.     eError,eError,eError,eError,eError,eError,eError,eError,#38-3f 
  489.     eError,eError,eError,     5,     5,     5,eError,eError,#40-47 
  490.     eError,eError,eError,eError,eError,eError,eError,eError,#48-4f 
  491.     eError,eError,     7,     7,     7,     7,eError,eError,#50-57 
  492.     eError,eError,eError,eError,eError,eError,eError,eError,#58-5f 
  493.     eError,eError,eError,eError,     7,     7,eError,eError,#60-67 
  494.     eError,eError,eError,eError,eError,eError,eError,eError,#68-6f 
  495.     eError,eError,     9,     9,     9,     9,eError,eError,#70-77 
  496.     eError,eError,eError,eError,eError,eError,eError,eError,#78-7f 
  497.     eError,eError,eError,eError,eError,     9,eError,eError,#80-87 
  498.     eError,eError,eError,eError,eError,eError,eError,eError,#88-8f 
  499.     eError,eError,    12,    12,    12,    12,eError,eError,#90-97 
  500.     eError,eError,eError,eError,eError,eError,eError,eError,#98-9f 
  501.     eError,eError,eError,eError,eError,    12,eError,eError,#a0-a7 
  502.     eError,eError,eError,eError,eError,eError,eError,eError,#a8-af 
  503.     eError,eError,    12,    12,    12,eError,eError,eError,#b0-b7 
  504.     eError,eError,eError,eError,eError,eError,eError,eError,#b8-bf 
  505.     eError,eError,eStart,eStart,eStart,eStart,eError,eError,#c0-c7 
  506.     eError,eError,eError,eError,eError,eError,eError,eError)#c8-cf 
  507.  
  508. UTF8CharLenTable = (0, 1, 0, 0, 0, 0, 2, 3, 3, 3, 4, 4, 5, 5, 6, 6)
  509.  
  510. UTF8SMModel = {'classTable': UTF8_cls,
  511.                'classFactor': 16,
  512.                'stateTable': UTF8_st,
  513.                'charLenTable': UTF8CharLenTable,
  514.                'name': 'UTF-8'}
  515.